“在英伟达的理解中，以尊重现实世界的物理规律和逻辑为出发点，将元宇宙看作把现实世界一比一、一比十个、甚至一比一万复制到虚拟世界。这意味着元宇宙拥有比真实世界更大的经济体量和市场空间，未来可能再次促进一个新生的经济实体和空间，刺激他人进行消费。”
*本文所有图片均来自英伟达，未经许可请勿擅自使用或修改
近几个月来，从央视《飞向月球》第二季纪录片，到宝马为规划高度复杂的制造系统打造的“虚拟工厂”，都有英伟达Omniverse的参与。Omniverse于2019年正式提出，最初是一款基于NVIDIA RTX GPU和皮克斯Universal Scene Description（USD）的实时图形和仿真模拟平台，推出目的是改变工程与设计行业工作流程，加快项目设计和生产效率。根据英伟达提供的数据，去年Omniverse Open Beta 公测版本上线后，截至目前已有约5万用户进行了下载，其中中国市场有接近1万名用户。过去半年，英伟达在中国建立的Omniverse用户群人数已超过400人。此外，Early Access，宝马、沃尔沃、爱立信、工业光魔等几十家企业已与Omniverse达成合作。Omniverse能够运行具备真实物理属性的虚拟世界，并与其他数字平台相连接，这一技术方向和“元宇宙”范式下数字孪生和虚拟场景所需的技术不谋而合。因而在近期的对外表述中，可以看到，英伟达已进一步将Omniverse称为“创建元宇宙数字化虚拟空间的技术平台底座”，代表了公司对元宇宙赛道的主动覆盖。在英伟达看来，真正的元宇宙应该高于游戏这一子行业，其数字化虚拟世界同样需要符合物理世界的逻辑，并能帮助人类实现现实世界中没有的体验和经历，进而促进一个比真实世界更大的新生经济实体和空间。而Omniverse能将英伟达旗下GPU、CUDA、实时光线追踪RTX技术等所有软硬件技术，及英伟达在生态系统中整合性的特质集中到一个平台，形成完整全栈解决方案，从而以更高效和兼容的方式，解决与“物理世界拟真”相关的各项痛点。在这一过程中，英伟达提供Omniverse等工具，让ISV、开发者和用户自己根据各式各样的创造性思维，打造逼真的世界和高度还原的物体，最终成为元宇宙基础底层服务架构的提供者。近日，围绕元宇宙话题，东西文娱与英伟达中国区高级技术市场经理施澄秋、英伟达高级解决方案架构师宋毅明、英伟达中国区传媒娱乐行业经理何展进行了访谈。英伟达方面对东西文娱表示，除了游戏在内的传媒娱乐，建筑、产品设计、科学运动和仿真、自动驾驶、工业机器人等是Omniverse六大主推方向，代表着未来元宇宙可以实现的技术落地的应用市场。而在打造元宇宙的具体路线上，英伟达看好从虚拟数字人场景切入。不久前引起市场关注的“发布会14s虚拟黄仁勋”，就是英伟达在虚拟人上的一次探索。英伟达认为，Omniverse能够实时将数字人做得更逼真、更符合物理世界定律，注重用数字化的形式呈现“人类”。随着每个超“拟真”数字人周遭环境的放大，和日后GPU算力、Omniverse平台能力提升和版本迭代，最终能够实现元宇宙的构想。 Omniverse由Nucleus、Connect、Kit、RTX Render、Simulation等五大核心部件组成，本质上是一个为设计师、工程师等创造共享虚拟空间，以进行实时协作的云原生技术平台。施澄秋表示，该平台技术路线是英伟达软件和硬件的全堆叠，再加上整个生态系统内的广泛协作和互相认证。优势体现在能够实现互联互通，“采用基于皮克斯USD的描述机制，加入英伟达的MDL语言，就可以打通多个ISV之间的数字资产，实现在线实时分工协作。”根据英伟达方面介绍，Omniverse能帮助解决行业的多个核心痛点：1、数据协同 市面上已有3ds Max、Maya、Substance、虚幻引擎、Blender等众多3D协同软件，但数据在这些软件中缺乏共用的数据流载体，因而Omniverse选择拥抱USD这样的轻量级语言。2、团队协作 Omniverse提供的解决方案可以协同世界各地的员工，呈现所见即所得的渲染效果，并结合推流实现即刻观看。这让很多因疫情原因无法面对面工作的团队，能够看到即时效果，并根据即时效果进行反馈和修改。3、大数据 由于Omniverse拥抱USD这样的技术，所以在打开大场景时具有天然的优势。避免很多软件在打开耦合性很高的数据时加载的时间过长。4、数据资产的安全性 以往几个不同的数据资产需要导入、导出，并利用互联网或移动媒介等载体进行传输，这面临着数字资产的加密问题。而Omniverse可以实现无论公有云、私有云还是混合云，都能够在同一个平台上工作和存取。这使得数字资产的管控变得容易，且可以引入很多端到端加密机制。据了解，Omniverse已应用在海内外传媒娱乐，建筑、产品设计、科学运动和仿真、自动驾驶、工业机器人等六大领域。如传媒娱乐领域，Omniverse正在探索变革泛影视领域的流程。今年上线的中国探月官方纪录片《飞向月球》第二季中就采用Omniverse平台，用到物理渲染、实时光线追踪、高精度3D扫描等技术，并首次将超写实虚拟数字人应用在4K科学纪录片中。在产品设计方面，今年4月宝马和英伟达宣布共同利用Omniverse平台打造虚拟工厂，探索虚拟、数字规划领域的新前景。英伟达CEO黄仁勋表示，宝马在物理世界中建造任何产品前，可以先虚拟地设计、规划和运营未来工厂，而这也代表了制造业的未来。此外，Omniverse还有针对AEC建筑行业的View、方便机器人仿真结构学习的Issac Sim，可以运用渲染效果实现可视化，以及即将推出无人驾驶仿真平台Drive Sim。目前，Omniverse提供to C和to B两个版本。其中，面向C端用户的Individual版本全部免费，用户可通过英伟达官网、微信公众号等渠道下载。面向B端用户的Omniverse Enterprise为付费版本，预计在今年秋季发布，届时会采取年度付费的订阅形式。据官方数据披露，去年Omniverse Open Beta公测版本上线后，下载用户在五万人左右。其中，国内下载且激活使用的用户接近万人，大多数用户都已经尝试创作自己的作品和项目。尽管在业绩层面还没有直观体现，英伟达方面认为，随着5G和互联网技术的不断发展和普及，基于流媒体的在线云原生的渲染平台和工作模式可能会颠覆以前很多传统的工作流程。“Omniverse代表了英伟达跨BU对未来整体市场的展望和愿景，是英伟达对于专业可视化领域甚至生产工具未来相当长一段时间，可预见的发展流派和趋势。”施澄秋表示。具体来说，传统的工作流、工作流程、应用模式、应用网站会逐渐地从本机化的方式迁移到“本机+云”混合，最后可能变成完全基于云分享的工作流程。“未来英伟达的企业级应用、企业级营收，很有可能也会随着这个趋势慢慢地进行改变。因而英伟达必须在行业趋势变化之前，先让解决方案就绪。”在施澄秋看来，行业趋势不取决于英伟达，而是取决于整个行业用户的使用习惯、行业的变迁和整个政策以及大环境的趋势。例如新冠疫情让整个分工协作、远程办公、在线的云办公模式加速进入企业日常工作流程中。虽然中国与海外市场防疫政策不同，导致办公环境不同，但在英伟达看来，中国的外资企业和工厂很多，在全球一体化的趋势下，许多M&E（媒体和娱乐）行业、AEC（建筑、工程和施工）行业、MFG（制造）行业和全球的配合非常紧密，跨国分工协作的需求仍然存在。这种对趋势的提前布局，进一步体现在英伟达主动向元宇宙赛道靠拢。过去几年，元宇宙涉及的AI、区块链、XR和可视化渲染等核心技术要素进入集中爆发期，加之5G时代的到来，为真实世界和数字虚拟世界的交互提供了带宽和技术基础，这些因素助推了元宇宙在包括中国市场在内的全球范围热度的攀升。在英伟达的理解中，以尊重现实世界的物理规律和逻辑为出发点，将元宇宙看作把现实世界一比一、一比十个、甚至一比一万复制到虚拟世界。这意味着元宇宙拥有比真实世界更大的经济体量和市场空间，未来可能再次促进一个新生的经济实体和空间，刺激他人进行消费。对于在此契机之下提出英伟达所理解的元宇宙概念平台Omniverse，何展认为，是因为它集合了英伟达过去二十多年在AI、HPC和图形各方面的技术、算法、标准，是英伟达为创建元宇宙数字化虚拟空间的“奇点”或技术平台底座。而Omniverse为不同领域的设计师、工程师等创造共享虚拟空间，进而改变工作流程等，背后的领域实际上代表了其技术在未来元宇宙落地的应用市场。“行业把2021年定义为元宇宙时代的元年，而英伟达已经提前几年就做好了准备。希望搭建一个技术平台，服务艺术家、创造者以及C端、B端用户，以实现元宇宙。”何展表示。而黄仁勋日前接受外媒采访时，也认同了Omniverse是服务于“工程师的元宇宙”的界定。在他看来，未来数字世界或虚拟世界将比物理世界大数千倍。“可能会有一个新的上海、新的纽约，工厂和建筑都将有一个数字孪生模拟和跟踪它的实体版本。工程师和软件程序员可以模拟出新的软件，然后逐步应用到实际中。在现实世界中运行的软件都会先在数字孪生中模拟，然后再下载到实体版本中。”基于英伟达对元宇宙的理解，其主要形成了“环境拟真”与“交互拟真”两条技术路线。一方面，构建元宇宙的关键，是当前做到尽量逼真地还原现实生活中的场景，未来更加逼真地完成现实生活中的设想。因而，Omniverse与元宇宙的关联，首先体现在能够更逼真地在虚拟世界创造符合现实世界物理规律的场景和事物。“渲染要逼真，光线要符合镜面反射和漫反射多次迭代带来的效果，才能通过VR、AR相关设备进行元宇宙的察看、体验乃至互动。”施澄秋表示，英伟达GPU不仅有基于传统图形的Shade核心，光线追踪的Ray Tracing RT核心，也有针对人工智能运算的Tensor核心。随着元宇宙需要的算力落实到GPU架构中间，再加上英伟达各式各样的软件框架SDK和最终的软件堆叠，能够完成元宇宙设想的实施。举例来说，即将推出的无人驾驶仿真平台Drive Sim，就是通过Omniverse的方式呈现和虚拟一个自然界的环境，“可以想像成元宇宙的一种，比如虚拟城市”，然后把自驾车虚拟到其中进行路面训练，加速无人驾驶智能化训练和迭代的过程。另一方面，AI应用可以通过虫洞和元宇宙进行交互，这也是元宇宙的重要特点。最典型的互动场景就是虚拟人，包括基于AI创造的虚拟人，和真实人类进入元宇宙产生的“数字分身”。在英伟达看来，虚拟人应该更接近一个“人”，即数字人（Digital Human）。有感情、能够体会到喜怒哀乐，且能够把喜怒哀乐实时地通过语言、表情等来体现，才是虚拟人的精髓。其中，Omniverse中的OmniSurface系统针对数字人有一系列不同的渲染机制，GPU渲染可以让数字人更接近真实的人类。同时，RTX Render技术能够把数字人放在虚拟环境后，借助光照系统和路径追踪系统和周遭环境进行互动。此外，Audio2Face可以通过一段音频驱动数字人面部表情的动捕，实现口音口型和面部表情、细微动作。结合OmniSurface、RTX Render和Audio2Face能够实时地把数字人做得更逼真更详实。不仅是一个虚拟内容，英伟达更注重的是用数字化的形式呈现“人类”。目前来看，无论是高度还原真实的世界，还是实现和元宇宙的交互，首要解决的问题是算力。为此，英伟达正在探索和发布一整套硬件资源和软件资源的技术堆栈。宋毅明表示，要先解决工具方面的问题，之后再慢慢衍生出各种新兴的应用和产品。“现在我们处于调用64个GPU加速一个场景的阶段，随着技术的不断更迭会有更多的GPU，未来将由成百上千或者上万GPU同时加速一个元宇宙的场景。”Omniverse之外，英伟达对元宇宙的长线布局思路据了解，英伟达对元宇宙已有更长线的布局。除了Omniverse的持续迭代，以不断解决“拟真”的技术难题，从而更接近其理解的元宇宙，英伟达也在围绕数字人探索更多技术路线，进而实现元宇宙的构想。何展告诉东西文娱，英伟达在硅谷有专门的数字人研究团队，设定了清晰的路线图：第一阶段，做得逼真。利用CG技术和实时光线追踪渲染技术把数字人做得像真人一样，比如发布会上出现14秒的黄仁勋数字人分身。这一阶段的代表技术就是Omniverse，“已经非常成熟到位”。第二阶段，通过要素驱动数字虚拟人。目前，国际上比较流行的三类要素分别是视频、“中之人”、语音语义。而英伟达数字人研究院选定语音语义这个要素作为驱动数字人的技术切入点。之所以选择语音语义这一要素，何展表示，是因为三大要素中语音语义操作门槛较低。“语音语义是最容易获得的，而且方便，通过一段语音或者文字就可以驱动数字虚拟人。”实际上，以往的驱动需要进行配音、口形适配，并考虑当前的语态、语境，进行面部表情分离，重新渲染面部表情，整个环节过于烦琐，时间、人力、物力成本巨大。而英伟达不久前更名的开源平台NVIDIA Riva中， Audio2Face这一功能模块，只需要一段文字，便能够通过基于AI深度神经网络感知能力的英伟达会话式人工智能系统，来感知语言下的情绪，把一段文字变成丰富的面部表情，再自动基于AI实时渲染系统叠加到虚拟人上。第三阶段，实现真实和虚拟世界的交互，包括数字人和真实人类之间，以及数字人和数字人之间的沟通交互。何展表示，这一阶段数字虚拟人才真正达到应用级别产品化，并完美契合元宇宙的概念。据悉，去年英伟达已经发布了Emotion AI的开发套件，但还未形成产品平台。借由相关技术，数字人可以通过图形图像识别的技术看到和识别对方的情绪。“甚至细到对方手里拿着一瓶可口可乐，它就知道这个人拿的是可乐，甚至品牌也可以识别”。随着这些信息和识别要素返回到数字人里面，可供数字人进行更多的情绪识别、情感认知。通过不断训练无限贴近于人类，并积累海量的训练集和数据集，最终支撑数字人达到第三阶段。
英伟达对东西文娱表示，这三大发展阶段已经形成了一定的行业共识：“第一阶段已经成熟；第二阶段目前处于初期，两到三年后会进入成熟期；再过两到三年，第三阶段就会进入初始的发展期和萌芽期。”而对英伟达来说，五年左右是一个非常重要的时间点。何展表示，届时英伟达GPU平台的算力，包括各种算法的迭代也会有很大的改进和提高。而随着每个数字人周遭环境的放大，以及日后GPU算力、Omniverse平台能力的不断提升和版本迭代，最终能够实现元宇宙的构想。